编码 Agent 的自适应技能粒度：运行时路由与宏到微恢复
🧭 Agent 技能粒度自适应与恢复执行
Shanghai Jiao Tong University · Kuaishou Technology Co., Ltd. · University of Warwick
将技能粒度作为条件化动作抽象策略，通过特征控制器与宏到微恢复提升编码 Agent 鲁棒性
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 工作流中，把“宏技能”（如一次生成完整推荐理由+商品卡片+优惠文案）与“微工具”（分别调用召回、排序、文案模型）纳入同一路由策略，根据 query 复杂度、用户状态和上下文选择执行粒度；若宏技能失败或不符合预期，自动降级到微工具补齐，避免整链路失败。
- 可借鉴其 feature-based 控制器思路：不依赖 LLM 做每个步骤的粒度判断，而是用用户/任务/状态特征（如 query 长度、类目数、历史是否出现矛盾信号、置信度）训练轻量分类器或规则，决定走宏模板还是微调用，降低延迟和成本，适合高 QPS 电商搜索/推荐消息场景。
- 引入有限状态执行器和显式的 transition correctness / route match 过程指标，对业务 Agent 做可观测、可回滚的执行管理；在 push 文案生成、搜索 query 改写等场景中，可以跟踪“宏采纳率”“失败恢复率”来评估系统鲁棒性而非只看最终转化。
- 局限：论文面向 coding agents，缺少电商语料和在线指标；迁移时需重定义技能库和 verifier，但执行抽象与回退机制可复用。
Harness²：开放世界中的递归 Agent 驾驭框架
🧭 Agent harness 递归自改进 ★ 深度解读
Northwestern University · Google Cloud AI Research
提出 Harness²，通过对比性 Propose-Probe-Compose 与经验库更新，在无 ground-truth 的开放世界中持续改进 agent harness。
📌 工作参考价值（4 点）
- 将推荐/搜索 agent 的运行时组件（prompt、工具说明、技能、子代理、中间件）显式文件化，支持在线编辑和版本管理，比黑盒 prompt 更容易自动优化。
- 在没有 ground-truth 的在线场景（如 query 推荐、文案生成质量难以标注），采用 Propose-Probe-Compose 的行为对比方法：让候选 harness 与当前 harness 执行同一任务，对比轨迹和输出差异作为编辑证据，避免依赖不可靠的奖励模型。
- 建立跨任务的经验库（harness improvement library），存储成功的 harness 组件和适用条件，支持新任务时按需检索和复用，避免每次从零调优；类似电商场景中不同品类/活动下的 agent 配置可以复用。
- 将 harness 优化与模型解耦，冻结模型权重，只优化外围组件，降低成本并便于快速迭代；弱模型配合优化后的 harness 可以超过强模型默认 harness。
自回溯蒸馏：把事后经验转为事前前瞻
🧭 RLVR 辅助损失 · 事后到事前蒸馏 ★ 深度解读
Salesforce AI Research · UC San Diego · Texas A&M University · Stanford University
用事后交互轨迹蒸馏出交互前可预测的知识/失败模式，让每条 rollout 均贡献监督，最高提升 24.2 pp
📌 工作参考价值（4 点）
- 在强化学习训练电商导购/搜索 Agent 时，不要只依赖 scalar reward：把每个会话/交互轨迹的事后信息（成功所需知识、失败原因）作为监督，训练模型在交互前输出前瞻性描述。成功轨迹预测用户可能关心的知识点，失败轨迹预测易错点/陷阱；该输出仅作训练目标，推理时不生成，不增加线上成本。
- 对奖励稀疏或组内 reward 一致的场景（大量会话无转化、点击稀疏），GRPO 等 group-relative 方法会丢弃全失败/全成功的 rollout 组；SRD 这类逐轨迹事后监督不依赖组内 variance，能从失败样本中榨取价值。2B 模型在全失败组占 98% 时仍能达到 60.6% 成功率，说明可以复用线上大量负反馈会话做冷启动训练。
- 具体实现用 stopped-gradient 的同一模型当 teacher，输入额外包含 gold solution 或 error annotation，与 student 的前瞻 rollout 做 token 级 JSD 对齐；只选 pitfall 视角通常比 knowledge+pitfall 更稳定且计算更便宜，不要盲目堆多个辅助头。
- 纯 self-distillation 在工具交互任务上可能不稳定（9B OPSD 在 HotpotQA/2Wiki/LCB 低于 vanilla），引入前瞻蒸馏能稳定训练并恢复单调 scaling；在复合 RL+蒸馏目标（RLSD）中也可叠加，通常 +SRD 提升明显。
通过执行反馈学习可泛化的测试时自适应 Harness 修订
🧭 Agent harness 自适应与元学习 ★ 深度解读
Carnegie Mellon University · Johns Hopkins University
训练一个 proposer 用执行反馈修订 frozen solver 的 harness，实现无需参数更新的测试时自适应与跨任务泛化
📌 工作参考价值（4 点）
- 在电商/Agent 工作流里，可把「query 改写、检索重排、工具调用、结果校验」等串成可执行 harness，用一个较小的 proposer 模型（4B 足够）只改 harness 代码、不改主模型参数，测试时用业务反馈迭代修订，降低大模型频繁微调成本。
- 训练 proposer 时，反馈问题和打分问题要拆开：反馈用于构造下次 revision 的 execution report，打分用于 RL reward，避免 reward hacking；GRPO 的 reward 建议加上 edit validity 和可执行性 bonus，能明显降低无效 proposal 比例。
- 测试时不要只做 one-shot 修订：用 small proposal budget 做多轮 sequential revision，每轮基于 development score 保留当前最优 harness；论文在 QA 场景里 10 轮总预算 80 次 proposal 能超过独立 80 次 proposal 的 oracle best，适合在线 A/B 式自适应。
- 对多跳检索/问答类 pipeline，可学习让 harness 把「用于生成下一跳 query 的摘要」和「最终 answer 的证据」分离：query 生成用摘要，answer 直接读原始 passage，这种结构在跨域 QA 上更稳。
交互式记忆学习用于长期对话
🧭 多智能体协作记忆优化 ★ 深度解读
Harbin Institute of Technology, Shenzhen · Pengcheng Laboratory, China
提出 ICML 多智能体在线强化学习框架，Planner 与 Trigger 通过跨会话延迟奖励共同进化，实现记忆策略自演进
📌 工作参考价值（4 点）
- 将记忆写入（Planner）和记忆召回（Trigger）拆成两个可学习策略，用 PPO 在线更新，适合客服/导购等用户偏好频繁变化场景；Planner 过滤噪音控制上下文长度，Trigger 按当前 query 选择记忆。
- 跨会话延迟奖励机制：把未来响应质量反传回当初的存储决策，解决记忆价值滞后问题，可迁移到电商中用户长期反馈对画像写入策略的反哺。
- 用 Retrospective Session Synthesis 反向生成一致故事线并标注记忆依赖，做冷启动专家数据，可借鉴为合成用户会话数据训练记忆策略，缓解在线 RL 稀疏奖励。
- 实现 plug-and-play，不改闭源 LLM 权重，仅训练小模型策略，构造延迟约 63ms、检索约 13ms，对已有线上 LLM 对话系统做记忆增强成本低。
置信源于经验：LLM 与 Agent 的体验式置信度估计
🧭 经验驱动 LLM 置信度校准 ★ 深度解读
University of Cambridge · Google DeepMind
用模型自己的历史验证样本构建经验库，检索相似任务与置信度，校准 LLM 输出置信度，以 1/10 成本匹敌 10 次采样一致性
📌 工作参考价值（4 点）
- 在 LLM 生成商品标题/广告文案/搜索改写等任务中，收集每次生成时的模型自评、置信度和最终效果（点击、转化或人工审核），构建经验库；上线时检索相似任务与相似置信度的历史，看实际成功率，用于决定自动发布还是人工审核。
- 用 task embedding + 模型自报置信度作为检索键，代替仅靠语义相似度；用历史结果标签微调度量空间（如重加权）可以让检索到“失败原因相似”的案例，而不仅是主题相似。
- 反思阶段把历史失败教训读给模型，让模型先说出自己的 recurring failure mode 再重估置信度，比单纯让其内省更校准；最终将统计成功率与反思置信度做 0.5/0.5 等权平均。
- 经验库需要独立于模型自身判断的结果标签（如用户反馈、人工审核、真实转化），不能用模型自己判断的 label，否则会在模型自信但错误的地方失效；且 lesson 要隔离，避免后见之明。
Skill-Use: LLM 在 Agent 框架中真的能使用技能吗？
🧭 Agent 能力评估 · 渐进式技能使用 ★ 深度解读
East China Normal University · Hong Kong University of Science and Technology · Fudan University · Tencent Hunyuan
提出 Skill-Use 基准，从触发、合规、边界三维度评估 LLM Agent 在渐进式披露下自主检索并遵循技能的能力，发现最高 SU 仅 0.613，触发与合规是独立瓶颈，排名依赖框架。
📌 工作参考价值（4 点）
- 技能触发是首要瓶颈，强化名称与描述的区分度：在 Agent 技能库中，技能名和简短描述直接影响触发率。电商/推荐场景下设计技能时，应使用精确、无歧义的元数据，避免与通用话题重叠，降低“不触发”失败。
- 预加载关键步骤可提升触发，但不宜直接暴露全过程：实验表明预加载技能全文可大幅提高触发，但执行合规性改善有限。工程上可对高价值技能预先在 System Message 中隐式注入其执行约束或决策规则，而不必展示全部 SOP，平衡触发与技能保密性。
- 技能库规模影响以“不调用”为主，而非错误调用：增加技能库容量主要导致 Agent 完全放弃调用技能，而非选错技能。因此监控“技能未被触发”比检测“选错技能”更有价值，可设置兜底策略或主动提示。
- 技能合规性与业务结果非线性相关，需设定最低 SU 阈值：任务完成得分在 SU > 0.5 后才转为正向增益，半吊子遵循反而损害结果。实际部署中应设定内部合规门槛，低于此阈值的技能调用可关闭技能库或回退无技能基线。
不做能力之外的事：LLM技能选择的确定性执行门控
🧭 Agent 技能路由 · 确定性执行门控 ★ 深度解读
Wix
在LLM技能路由中，用技能内部退出条件做确定性过滤，避免推荐不可执行的技能，节省59%的上下文token并减少7.8%的错误选择
📌 工作参考价值（4 点）
- 在LLM工具选择/技能路由pipeline中，将语义相关性与执行可行性解耦：先用recall-oriented的语义检索召回复候选，再通过确定性代码检查业务状态（如用户权限、账户配置）过滤不可执行的技能，可大幅减少prompt中技能描述token（本案例减少59.1%）并降低模型选择不可用操作的风险。
- 门控谓词应直接复用技能内部的退出条件（exit conditions），通过工程手段保持与技能逻辑的parity，而非训练一个分类器；这样在谓词等价且状态一致的前提下，过滤掉的技能必定无法成功执行，可避免“虚假过滤”。
- 需建立谓词生命周期维护机制：当技能逻辑变更时，同步更新门控谓词，并用回归测试确保parity；监控门控决策与实际执行结果的一致性，防止谓词漂移或状态陈旧导致过block或漏block。
- 对电商/推荐Agent（如导购助手、客服），可将此思路应用于过滤不可操作的商品/服务（如缺货、无权限、不满足优惠条件），避免LLM生成无法兑现的推荐，提升信任度和任务完成率。
Zero-Mem：面向LLM智能体的零Token记忆操作
🧭 Agent 零Token记忆操作 ★ 深度解读
The Hong Kong Polytechnic University · Southwestern University of Finance and Economics · Jilin University
提出零Token记忆框架，用实体图和时序层次替代生成式抽象，全部记忆操作不占用LLM调用或Token。
📌 工作参考价值（4 点）
- 零LLM记忆管道：记忆构建、检索、路由、校准等全部环节都用确定性算法和编码器完成，避免生成式抽象，可直接用于电商Agent的“用户长期偏好/行为记忆”，将记忆部分与最终生成解耦，极大降低Token开销和延迟。
- 双视图结构化检索：实体-上下文图捕获跨会话关联，时间层次保留对话局部性和状态，通过查询路由动态加权融合。推荐系统Agent可以仿造这种“关系+时序”双重索引，处理用户多轮意图变迁与跨会话关联。
- 证据校准与封闭：检索后自动补充关系桥接和局部上下文，再用边界与类型滤波提炼证据，最后对答案进行确定性校验。这套方法可复用到电商QA或对话推荐的后处理阶段，提高生成事实性与一致性，无需额外LLM调用。
- 保留原始痕迹：Zero-Mem不生成中间摘要或笔记，所有证据都可追溯到原始交互，适合需要审计、合规且长周期交互的电商客服或导购场景，在低成本下提供可解释的原文支持。
基于后悔值的多轮澄清基准：评估LLM助手的澄清策略
🧭 对话Agent澄清策略的后悔值评估基准
MBZUAI · BKAI Research Center, Hanoi University of Science and Technology · INSAIT, Sofia University "St. Kliment Ohridski"
提出基于后悔值的多轮澄清基准RegretBench，衡量LLM助手澄清策略的效率与效用，避免仅看最终成功。
📌 工作参考价值（4 点）
- 对话推荐中的澄清策略评估：在电商对话推荐中，用户需求往往模糊，可借鉴RegretBench的后悔值度量，评估系统是否在正确时机提问、何时停止，避免无效追问或过早错误回答，优化用户交互体验和转化效率。
- 优化Agent的停止决策：后悔值框架量化了“多问一轮”的机会成本，可直接用于强化学习稀疏奖励设计，训练Agent在信息增益低于阈值时果断停止，减少对话轮次和用户流失。
- 隐藏意图数据构建：RegretBench的隐藏意图设定可用于生成大量用户意图不确定的模拟训练数据，提升推荐Agent对模糊查询的处理能力，特别适合冷启动或用户画像缺失的场景。
- 多指标评估体系：该工作提醒不要仅看最终准确率，而应同时关注交互成本、无效澄清率，对应搜索推荐中的“结果页翻页深度”或“对话轮次”，可迁移到消息推送频率、主动推荐时机的决策中。
基于自主语言代理的个性化推荐工具学习
🧭 Agent 个性化推荐工具学习 ★ 深度解读
Univ. of Illinois Chicago · Microsoft · Beihang University · Hangzhou Innovation Institute of BUAA
用LLM代理调用多个推荐模型作为工具，通过反射机制个性化选择工具，实现全排名推荐。
📌 工作参考价值（4 点）
- 多工具集成架构：将LightGCN、SASRec、SimpleX等异构推荐模型包装为工具，由LLM agent统一调度，通过加权融合（Personalized Tool Memory）得到最终排序。业务中可用类似方式组合协同过滤、序列模型、图模型等多路召回，agent负责动态权重分配，无需改造底层模型。
- 反射记忆更新机制：提出三种反射信号——局部工具评估（基于行为序列相关性）、全局工具比较（跨工具选择最佳）、排名比较（基于留出物品的排名倒数加权），在线更新每个用户的工具权重。该机制可低成本迁移到个性化重排或广告混排场景，用LLM定期（如每日）优化不同打分器/策略的权重。
- 轻量上下文重排：在工具融合分数生成top-N后，用LLM根据用户摘要和物品描述进行二次重排，提升语义匹配度。适用于精排后的小候选集重排，计算开销可控（单张V100 GPU每用户<0.5秒），适合作为排序流水线的最后一环。
- 工程并行化与成本控制：每个用户的工具记忆独立更新，可完全并行；训练时仅需少量用户采样（如160人）进行agent优化，推理时所有用户复用相同工具，Agent阶段可离线完成。这种解耦设计使得LLM调用集中在离线批量任务，不增加在线延迟。
NexForge：通过需求驱动任务合成扩展 LLM 智能体能力
🧭 需求驱动的 Agent 训练数据合成
East China Normal University · Fudan University · Shanghai Qiji Zhifeng Co., Ltd
提出需求驱动的任务合成框架 NexForge，自动生成多样化可执行 agent 训练数据，显著提升 LLM agent 性能
📌 工作参考价值（4 点）
- 借鉴需求驱动思想，根据业务能力需求（如“自动处理退换货”“批量更新商品库存”）自动生成多样化的终端/办公任务，用于微调内部 Agent 模型，降低人工构造成本
- 采用分布感知编译（基于真实需求日志构建情景和任务概况），使训练数据分布更贴近线上实际，减少偏差，可应用于电商搜索广告 Agent 的训练数据生成
- 框架不依赖领域特定基建，可快速跨场景迁移，例如从终端操作扩展到电商后台、广告投放工具等新工具领域，降低工程门槛
- 利用合成的高质量专家轨迹进行 SFT，验证了数据规模和多样性对提升 Agent 任务成功率的重要性，启示我们可通过自动化管线持续扩展 Agent 能力边界
用于代理强化学习的自我演化在线策略蒸馏
🧭 自我演化技能蒸馏 · 代理强化学习
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
SEED通过从在线轨迹提取后见之明技能并蒸馏为密集token级信号，弥补了结果奖励与token策略之间的监督鸿沟
📌 工作参考价值（4 点）
- 在训练对话式推荐或工具使用 Agent 时，可从在线轨迹自动提取成功模式/失败规则，蒸馏回策略，缓解稀疏奖励问题
- 用当前策略作为技能分析器实现自我演化，辅助监督与策略分布同步更新，避免离线方案中的分布偏移
- 技能增强的分数重计算（概率偏移）作为密集的 token 级蒸馏信号，可与 RL 损失联合优化，无需额外人工标注
- 提升模型在未见场景的泛化能力，对搜索推荐 Agent 处理长尾查询或复杂对话有一定参考价值
大语言模型过程性技能的自适应多分辨率压缩
🧭 Agent 技能压缩 ★ 深度解读
Tsinghua University
提出多分辨率软令牌压缩框架 SKIM，通过渐进训练与离线自判实现技能压缩，在保持任务精度的同时大幅减少 token 消耗。
📌 工作参考价值（4 点）
- 在 Agent 系统中，将冗长的技能描述（如电商工具的 API 文档、流程指引）压缩为少量连续软令牌，可显著降低每次调用的 prefill 延迟和费用，且通过渐进训练与 LoRA 适配，能严格保持工作流中的条件依赖和工具调用逻辑，避免硬压缩导致流程断裂。
- 多分辨率设计允许同一个技能存储 256/512 等不同预算的软令牌前缀，通过离线自判自动为每个技能‑模型对选择最优压缩率：简单技能用极少令牌，复杂流程用较高预算或回退至原文，这类似于电商推荐中根据复杂度动态分配 embedding 维度。
- 技能更新时只需一次前向传播即可重新压缩，无需梯度优化，使得频繁迭代的 Agent 技能仓库（如 ClawHub）能以类似软件构件的方式分发预计算的软令牌包，这对推荐系统中动态 prompt 维护有借鉴意义。
- 训练中使用 ReAct 轨迹模拟工具调用，并通过分解复杂技能为子技能训练多技能组合，这些合成数据方法可直接用于构建电商多工具 Agent 的压缩训练数据。
技能非文档：面向LLM Agent技能路由的查询条件基准与两阶段检索器
🧭 Agent 技能检索与路由优化 ★ 深度解读
Tencent IMA Product Center · Tencent Youtu Lab
提出保留LLM拒绝信号作为技能兼容性负监督，构建中英双语技能检索基准R3-Skill，并设计两阶段检索器精排利用该信号
📌 工作参考价值（4 点）
- 构建Agent技能库时，不能简单当作文档检索，必须考虑技能间兼容性，应将前期LLM判断为“不可组合”的样本保留为负监督，用于训练精排模型。
- 推荐采用两阶段检索：粗排用双编码器快速召回，精排用交叉编码器，并将兼容性负信号编码为分级标签（如 label=1），通过 listwise 损失优化排序。
- 新增 Set-Compat 指标衡量检索集合的协同可用性，比单独的 recall/NDCG 更能反映 Agent 后续调用的真实成功率。
- 双编码器阶段注入兼容性负样本效果甚微（被梯度稀释），兼容性监督应集中放在交叉编码器精排阶段，这是架构选择的实践结论。
元模态智能体：面向缺失模态候选重排的序列化证据路由
🧭 缺失模态推荐 · 序列证据路由与LLM Agent ★ 深度解读
Swinburne University of Technology · Southeast University · Tongji University · Chengdu University of Information Technology · Wuhan University of Technology
将冷启缺失模态视为序列证据路由问题，用PPO训练LLM Agent融合自动工具与检索分数进行候选重排
📌 工作参考价值（4 点）
- 缺失模态应对策略：将缺失模态视为 “Null 观察” 而非特征缺失，通过 agent 路由到可用证据源，避免了对不可靠补全的依赖。电商中新品冷启、用户无行为时可直接借鉴。
- Agent 训练技巧：使用 PPO 训练时加入任务平衡采样（balanced missingness-task），确保极度缺失场景（如仅图像）获得与全观测场景相同训练暴露，防止策略偏向简单情况。可迁移至推荐 agent 的强化学习调优。
- 重排序与融合设计：Agent 只对上游检索返回的候选池打分，最终排序通过加权融合模型分数与原始检索分数（公式 (2)）。该“检索-重排”解耦架构允许灵活插入 LLM agent，且通过融合权重控制新旧信号比例，适合现有推荐管线改造。
- 路由机制验证：与固定规则路由器（RuleRouter-Fuse）对比，学习到的路由不仅提升 NDCG@10，还降低了无效工具调用率（47% vs 65.8%）和平均轮次（2.5 vs 3.8），说明 RL 训练出的策略更高效，可作为 agent 工具调用的优化范式。